Pre-Inference Routing for Cost-Efficient Document Field Extraction
面向成本高效的文档字段提取的预推理路由
🧭 模型推理成本优化 · 预推理路由
Independent Researcher
提出预推理路由：在文档提取前预测难度，动态选择廉价或强模型，成本降低31-77%且质量损失≤0.02 F1
📌 工作参考价值（4 点）
- 模型级联成本优化通用范式：在推荐、问答或 Agent 流水线中，先用轻量模型处理简单流量（如高频、低风险 query），对复杂流量（长尾、歧义 query）再调用大模型。核心前提：廉价模型要「有足够失败率」且「失败可预测」——从日志统计廉价模型在各分段上的质量，若某段失败率低则没必要路由。
- 用极少标注试点验证路由可行性：不必全量标注或复杂实现，先用 100-200 条样本评估廉价模型在该业务的 F1 或准确率，看是否满足「足够失败」条件；再提取简单特征（如文本长度、信息熵、图像清晰度）用逻辑回归拟合，看路由后 Pareto 前沿是否改善——成本节约 30% 以上且质量损失可接受时才工程化。
- 路由器特征从业务可观测信号入手：论文发现 BOW 路由器和人工特征效果接近，说明业务侧不必过度设计特征，直接用文本/结构化元数据（如订单金额、商品数量、历史点击率）作为特征就能工作；可解释特征（如布局复杂度、缺失值比例）能帮助评估路由效果上限。
- 路由器需按场景独立训练：论文指出路由器不能跨数据集迁移，即业务上每个产品线（如搜索、推荐、客服）需维护自身路由策略，即使底层模型一致；可定期用新数据 retrain 路由器，避免分布漂移失效。